當煉金工房開始燒錢

昨天我們學會了 Prompt Caching 這個「時間魔法」,讓 AI 不用每次都重新思考。但今天要聊一個更現實的問題:當你的 AI 煉金工房開始規模化運作時,帳單也跟著規模化了。

想像一下,你的個人煉金實驗室升級成了工業級大工廠。以前一個月燒個幾百元台幣,現在帳單突然變成幾萬、幾十萬。

這就像你以為開了一家小麵包店,結果發現自己不小心開了連鎖麵包工廠,每天的麵粉帳單讓你頭皮發麻。

成本的真相:不只是 Token 的問題

在深入優化策略前,我們先搞清楚一個殘酷事實:儘管 Token 價格不斷下降,但實際任務成本依然居高不下。為什麼?

Token 降價了,但用量暴增了

2025 年各家廠商都在降價:

• OpenAI 的 GPT-4o 在 16 個月內降價 83%,從 $15/$60 降到 $3/$10 per 1M tokens
• Claude Sonnet 4.5 維持 $3/$15 per 1M tokens,性能卻大幅提升
• Google Gemini 2.5 Flash-Lite 只要 $0.02 per 1M tokens,比 GPT-4 便宜 125 倍

聽起來很棒?但這就像油價降了,你卻從騎機車變成開油罐車。當你從簡單問答升級到 Multi-Agent 系統、RAG 檢索、長期記憶管理時,Token 消耗量可能是原本的 10 倍、100 倍。

舉個實際例子:

• 簡單問答:500 input + 200 output = 700 tokens
• RAG 系統:5000 (系統提示) + 20000 (檢索文件) + 500 (使用者問題) + 2000 (回應) = 27500 tokens

即使 Token 單價降低,總成本反而更高。這就是為什麼我們需要「煉金師的帳本」——系統性的成本管理策略。

策略一: Model Cascading (模型階梯策略)

核心概念:別用大砲打蚊子

還記得 Day 14-15 我們談過的 Multi-Agent 協作嗎?不同的 Agent 負責不同的任務。同樣的道理,不同的任務應該用不同等級的模型。

研究顯示,正確的模型選擇可以減少 60% 的 Token 成本。這不是小數字,而是實實在在的六成節省!

實戰分級策略

輕量級任務 (用最便宜的模型)

• 簡單分類 (「這是正面還是負面評論?」)
• 基本翻譯 (「把這句話翻成英文」)
• 資料擷取 (「從這份合約找出有效期限」)

推薦模型:

• GPT-4o-mini (約 $0.15/$0.60 per 1M tokens)
• Gemini 2.5 Flash-Lite: $0.02 per 1M tokens

中量級任務 (平衡性價比)

• 程式碼生成與除錯
• 文件摘要與分析
• 創意內容撰寫

推薦模型:

• GPT-4o: $3/$10 per 1M tokens
• Claude Sonnet 4.5
• Gemini 2.5 Flash

重量級任務 (只在必要時使用)

• 複雜推理 (數學證明、科學研究)
• 多步驟問題解決
• 關鍵決策分析

推薦模型:

• Claude Opus 4.1 ($15/$75 per 1M tokens)
• GPT-o3 系列 (推理模型)

這就像餐廳的食材管理:一般菜色用普通食材,只有招牌菜才用頂級食材。顧客滿意度不變,成本卻大幅下降。

策略二: Batch Processing (批次處理的魔法)

50% 的折扣不拿白不拿

所有主要供應商 (OpenAI、Anthropic) 都提供 Batch API,可享 50% 折扣。條件只有一個:你願意等 24 小時。

什麼適合批次處理?

適合:

• 每日報表生成 (凌晨跑,早上看結果)
• 大量資料分析 (不需要即時回應)
• 內容預生成 (部落格文章、產品描述)
• 資料清理與分類 (批次處理幾千筆記錄)

不適合:

• 即時客服 (使用者在等)
• 互動式對話 (需要立即回應)
• 時效性任務 (新聞摘要、即時翻譯)

策略三: Prompt Engineering (精簡的藝術)

每個字都是錢

還記得 Day 2 我們學過的提示工程嗎?當時我們專注在「如何讓 AI 給出更好的答案」。現在要加上另一個維度:「如何用最少的字達成目標」。

研究顯示,精簡的提示可以減少 30-50% 的 Token 消耗。這不是要你犧牲品質,而是去除冗餘。

優化範例

冗餘版 (浪費 Token):

你是一位非常專業且經驗豐富的資深產品經理,擁有超過 15 年的產品管理經驗,
曾經在多家知名科技公司工作過,對於產品策略、使用者體驗、市場分析都有深入的
了解和獨到的見解。現在,我需要你根據你豐富的經驗和專業知識,仔細分析以下
這份市場調查報告,並且提供你的專業意見和建議...

(約 150 tokens)

精簡版 (省錢但有效):

角色:資深產品經理 (15年經驗)
任務:分析市場調查報告,提供策略建議
輸出:3-5 個可執行建議,每個包含數據支撐

(約 40 tokens,省下 70%)

結構化輸出的威力

使用 OpenAI 的 Structured Output 功能,可以大幅減少輸入 Token,同時獲得更一致的格式。

與其在 System Prompt 裡塞一堆範例:

範例一:
{"title": "...", "summary": "...", "tags": [...]}
範例二:
...

不如直接用 JSON Schema 定義:

{
  "type": "object",
  "properties": {
    "title": {"type": "string"},
    "summary": {"type": "string", "maxLength": 200},
    "tags": {"type": "array", "items": {"type": "string"}}
  }
}

省下的 Token 可能高達數千個。

策略四: Smart Caching (快取的科學)

不只是 Prompt Caching

昨天我們學了 Prompt Caching,但企業級的快取策略遠不止於此。

多層快取架構

第一層:Prompt Caching (內建功能)

• Claude 的 Cache Read tokens 只要 0.1 倍的價格
• 適合:系統提示、知識庫文件、公司政策

第二層:語意快取 (Semantic Caching)
語意快取能識別相似問題,即使措辭不同,將快取命中率從 10% 提升到 40%。

範例:

• 「如何申請退貨?」
• 「退貨流程是什麼?」
• 「我想退貨該怎麼辦?」

這三個問題措辭不同,但語意相同。語意快取會認出它們是同一個問題,直接回傳快取結果。

第三層:結果快取 (Application-Level Caching)
在你的應用層面,使用 Redis 或類似工具快取常見問答的完整結果。

快取策略的黃金法則

使用時間戳記確保資料新鮮度,同時最大化快取效益:

• 永久性內容 (公司簡介):快取 7-30 天
• 半永久性內容 (產品目錄):快取 1-7 天
• 動態內容 (庫存資訊):快取 1-24 小時
• 即時內容 (股價):不快取

策略五: Monitoring & Iteration (持續監控與最佳化)

你無法最佳化你沒有測量的東西

關鍵監控指標

成本指標:

• 每日/每週/每月總成本
• 各模型使用比例與成本
• Token 使用趨勢

效率指標:

• 快取命中率
• 平均 Token/請求
• 模型選擇準確率

品質指標:

• 使用者滿意度
• 重試率 (retry rate)
• 錯誤率

異常偵測系統

如設定自動警報:

function monitorApiCosts(currentUsage) {
  const dailyBudget = 100; // 每日預算 $100
  const warningThreshold = 0.7; // 70% 時警告
  
  if ((currentUsage / dailyBudget) > warningThreshold) {
    sendAlert(`API 使用量已達每日預算的 ${Math.round(currentUsage / dailyBudget * 100)}%`);
  }
  
  if (currentUsage > dailyBudget) {
    enableEmergencyRateLimiting(); // 啟動緊急限流
  }
}

從成本中心到價值中心

成本優化不是「省錢」這麼簡單,而是「把錢花在刀口上」。

記住三個原則:

1. 不是最便宜,而是最划算:選對模型比選便宜模型更重要
2. 不是削減預算,而是提升效率:同樣的預算做更多事
3. 不是一次性優化,而是持續改進:成本管理是長期工程

當你從「碰運氣的賭徒」進化到「掌握方法的煉金師」,再升級為「精算成本的企業家」時,你不只是在省錢,更是在建立可持續、可擴展的 AI 系統。